1
พื้นฐานทางเรขาคณิตของการเพิ่มประสิทธิภาพแบบเว้า
MATH008Lesson 8
00:00
จินตนาการถึงการเดินทางผ่านภูมิประเทศที่ซับซ้อน ซึ่งเป้าหมายของคุณคือการหาจุดที่ใกล้เคียงกับความปลอดภัยที่สุด ในภาษาของการเพิ่มประสิทธิภาพ ความปลอดภัยนี้คือเซต $C$ และการหาจุดที่ใกล้ที่สุดคือ การฉายภาพ. แม้ว่าแนวโน้มของเหตุผลจะบ่งบอกว่าจะมีจุดที่ใกล้ที่สุดเพียงจุดเดียวเสมอไป แต่ความจริงทางคณิตศาสตร์กลับซับซ้อนกว่านั้น พื้นฐานทางเรขาคณิตของการเพิ่มประสิทธิภาพแบบเว้าอยู่บนการกำหนดความใกล้ชิดอย่างเป็นระบบ ซึ่งข้ามความเข้าใจเชิงยูคลิดมาสู่การแทนที่เชิงฟังก์ชันที่เข้มงวด เช่น ฟังก์ชันตัวบ่งชี้และฟังก์ชันสนับสนุน

1. การฉายภาพและการวัดระยะห่าง

ระยะห่างจากจุด $x_0$ ไปยังเซต $C$ ถูกนิยามว่าเป็นค่าต่ำสุดของระยะห่างทั้งหมดไปยังจุดในเซต:

$\text{dist}(x_0, C) = \inf\{\|x_0 - x\| \mid x \in C\}$

ตัวดำเนินการที่ทำให้ได้ระยะห่างนี้คือตัวดำเนินการฉายภาพ:

$P_C(x_0) = \text{argmin}\{\|x - x_0\| \mid x \in C\}$

สำหรับไฮเปอร์พลาเนทที่เรียบง่ายที่นิยามโดย $a^T x = b$ การฉายภาพมีคำตอบรูปแบบปิดที่สวยงาม: $P_C(x_0) = x_0 + (b - a^T x_0)a/\|a\|_2^2$ แต่สำหรับเซตทั่วไป ปัญหานี้ยังคงเป็นปัญหาการเพิ่มประสิทธิภาพภายใต้เงื่อนไขจำกัด: ลดค่า $\|x - x_0\|$ โดยมีเงื่อนไข $f_i(x) \leq 0$ และ $Ax = b$.

2. เรขาคณิตเชิงฟังก์ชัน

เพื่อจัดการข้อจำกัดทางเรขาคณิตเป็นองค์ประกอบหลักในการเพิ่มประสิทธิภาพ เราใช้ฟังก์ชัน 'กระจกเงา' สองชนิดที่ทรงพลัง:

  • ฟังก์ชันตัวบ่งชี้ $I_C(x)$: $I_C(x) = \begin{cases} 0 & x \in C \\ +\infty & x \notin C \end{cases}$. ฟังก์ชันนี้ทำให้เรขาคณิตกลายเป็นค่าปรับเชิงตัวเลข
  • ฟังก์ชันสนับสนุน $S_C(x)$: $S_C(x) = \sup_{y \in C} x^T y$. ฟังก์ชันนี้อธิบายเซตโดยใช้ไฮเปอร์พลาเนทขอบเขตในทุกทิศทาง
ทฤษฎีบท: ทฤษฎีบทของโมตซ์กิน

เซต $C \in \mathbf{R}^n$ ที่ไม่ว่างเปล่าและปิด เป็น เซตเชเบเชฟ (มีการฉายภาพที่ไม่ซ้ำกันสำหรับทุก $x_0$) ก็ต่อเมื่อมันเป็น เว้า.

การพิสูจน์แบบสรุป (ความไม่ซ้ำกัน)

สมมุติว่า $C$ เป็นเว้า และนอร์มเป็นเว้าอย่างเข้มงวด หากมีจุดที่ใกล้ที่สุดสองจุดที่แตกต่างกัน $u, v \in C$ ที่มี $\|u - x_0\| = \|v - x_0\| = d$ แล้วจุดกึ่งกลาง $w = (u+v)/2$ จะอยู่ใน $C$ (ตามความเป็นเว้า)

จากความเป็นเว้าอย่างเข้มงวดของนอร์ม: $\|w - x_0\| = \|\frac{1}{2}(u - x_0) + \frac{1}{2}(v - x_0)\| < \frac{1}{2}\|u - x_0\| + \frac{1}{2}\|v - x_0\| = d$

สิ่งนี้ขัดแย้งกับสมมุติฐานที่ว่า $d$ เป็นระยะห่างต่ำสุด ดังนั้นการฉายภาพต้องเป็นเพียงจุดเดียวเท่านั้น

คำเตือน 8.4: ความพึ่งพาต่อนอร์ม

เราพบว่ามักจะสร้างไฮเปอร์พลาเนทแยกออกโดยใช้: $(P_C(x_0) - x_0)^T (x - (1/2)(x_0 + P_C(x_0))) = 0$ ระวัง! การสร้างแบบเฉพาะนี้ถูกต้อง เฉพาะสำหรับนอร์มยูคลิด. นอร์มทั่วไปต้องการการจัดการความตั้งฉากอย่างละเอียดมากขึ้น

🎯 ข้อคิดสำคัญ
ความเป็นเว้าคือ 'กาว' ที่ทำให้มั่นคงในการเพิ่มประสิทธิภาพทางเรขาคณิต หากขาดความเป็นเว้า งานที่เรียบง่ายอย่าง 'การหาจุดที่ใกล้ที่สุด' อาจนำไปสู่คำตอบหลายชุดที่ขัดแย้งกัน ส่งผลให้เกิดความไม่มั่นคงในอัลกอริธึม